from datasets import load_dataset, Audio
import os # 用于检查路径

# 1. 确保路径是正确的
data_dir = "/media/byy/data5/why/AI智能化/10voice/kaggle-1/voxpopuli-data/nl"
if not os.path.exists(data_dir):
    print(f"错误：本地数据目录不存在: {data_dir}")
    exit()

print(f"尝试从本地目录加载数据: {data_dir}")

# 2. 使用 download_mode='force_redownload' 来强制使用本地文件
# 这会强制加载脚本运行，但加载脚本会优先使用 data_dir 中的文件
# 而不是从 Hub 下载原始文件。
# dataset = load_dataset(
#     "facebook/voxpopuli",
#     "nl",
#     data_dir=data_dir,
#     download_mode='force_redownload', # 关键参数！
#     keep_in_memory=False
# )
# dataset = load_dataset("./voxpopuli-data/", split="train")
dataset=load_dataset("./voxpopuli-data","nl", split="train")
# dataset = load_dataset("./voxpopuli-data/")
# 3. 验证数据集是否加载成功
print("\n数据集信息:")
print(dataset)
# # --- 关键调试步骤 ---
print("Dataset object type:", type(dataset))
print("\nDataset info:")
print(dataset.info) # 查看数据集的详细信息，包括描述和特征
#少字段
print("\nDataset features:")
print(dataset.features) # 查看每一列的数据类型和名称

print("\nColumn names:")
print(dataset.column_names) # 直接打印列名列表

print("\nFirst sample:")
print(dataset[0]) # 查看第一个样本，直观地看到数据结构


# 4. （可选）如果你想之后完全离线使用，可以设置环境变量
# import os
# os.environ["HF_DATASETS_OFFLINE"] = "1"
# 或者在你运行脚本前在终端设置：export HF_DATASETS_OFFLINE=1

'''
可以加载数据 但是少字段 错误的加载方式
Column names:
['audio', 'label']
'''